Некоторое время назад мы уже писали о возможности конвертации RDM-томов, работающих в режиме виртуальной и физической совместимости, в формат VMDK. Сегодня мы поговорим об обратном преобразовании: из формата VMDK в формат RDM (physical RDM или virtual RDM).

Для начала опробуйте все описанное ниже на тестовой виртуальной машине, а потом уже приступайте к продуктивной. Перед началом конвертации необходимо остановить ВМ, а также сделать remove виртуального диска из списка устройств виртуальной машины. Определите, какой режим совместимости диска RDM вам необходим (pRDM или vRDM), прочитав нашу статью "Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere".

Создайте новый LUN на дисковом массиве, где будет размещаться RDM-том, и сделайте Rescan на хосте ESXi, чтобы увидеть добавленный девайс в vSphere Client:

Обратите внимание на Runtime Name (в данном случае vmhba37:C0:T1:L0) и на идентификатор в скобках (naa.6000eb....итакдалее) - этот идентификатор нам и нужен. Словить его можно, выполнив следующую команду (подробнее об идентификации дисков тут):

# esxcfg-mpath -L

В результатах вывода по Runtime Name можно узнать идентификатор. Вывод будет примерно таким:

vmhba33:C0:T0:L0 state:active naa.6090a038f0cd6e5165a344460000909b vmhba33 0 0 0 NMP active san iqn.1998-01.com.vmware:bs-tse-i137-35c1bf18 00023d000001,iqn.2001-05.com.equallogic:0-8a0906-516ecdf03-9b9000004644a365-bs-lab-vc40,t,1

Соответственно, второе выделенное жирным - идентификатор, его копируем.

Далее выполняем следующую команду для конвертации диска в Virtual RDM:

# vmkfstools –i <исходный>.vmdk -d rdm:/vmfs/devices/disks/<идентификатор>
/vmfs/volumes/datastore/vmdir/vmname.vmdk

Для Physical RDM:

# vmkfstools –i <исходный>.vmdk -d rdmp:/vmfs/devices/disks/<идентификатор>
/vmfs/volumes/datastore/vmdir/vmname.vmdk

Обратите внимание, что команты отличаются только параметрами rdm (виртуальный) и rdmp (физический).

Здесь:

• <исходный> - это путь к старому VMDK-диску, например, old.vmdk
• <идентификатор> - это то, что мы скопировали
• путь с vmdir - это путь к заголовочному VMDK-файлу для RDM-тома (может быть на любом общем Datastore)

Второй вариант клонирования диска подсказывает нам Иван:

vmkfstools --clonevirtualdisk /vmfs/volumes/Demo-Desktop-01/Exchange1/Exchange1_1.vmdk
/vmfs/volumes/Demo-Desktop-01/Exchange1/Exchange1_1_RDM.vmdk
--diskformat rdmp:/vmfs/devices/disks/naa.60a9800057396d2f685a64346b664549

Далее выберите виртуальную машину в vSphere Client и сделайте Add Disk, где в мастере укажите тип диска RDM и следуйте по шагам мастера для добавления диска. После этого проверьте, что LUN больше не показывается при выборе Add Storage для ESXi в vSphere Client. Запустите виртуальную машину и, если необходимо, в гостевой ОС в оснастке Disk Management сделайте этот диск Online.

Иногда в целях безопасности необходимо настроить время, по прошествии которого если клиент vSphere Client не используется, требуется прервать сессию работы с VMware vCenter. Как подсказывает нам William Lam, сделать это можно двумя способами:

• Заданием аргумента при запуске исполняемого файла VpxClient.exe (vSphere Client)
• В конфигурационном файле VpxClient.exe.config на рабочей станции, где установлен vSphere Client

В первом случае мы задаем параметр inactivityTimeout в свойствах ярлыка vSphere Client, где устанавливаем время в минутах, после которого при неактивности клиента будет показан диалог о необходимости повторного логина:

Во втором случае нужно найти файл VpxClient.exe.config, который находится в следующих местах в зависимости от версии ОС:

• 32bit - %PROGRAMFILES%\VMware\Infrastructure\Virtual Infrastructure Client\Launcher
• 64bit - %PROGRAMFILES(x86)%\VMware\Infrastructure\Virtual Infrastructure Client\Launcher

Открываем этот XML-файл и прямо перед окончанием секции cmdlineFallback добавляем следующую секцию:

<inactivityTimeout>X</inactivityTimeout>

Если вы задали значение 1, то после неактивности в течение 1 минуты, будет показано следующее сообщение:

Также Вильям указывает на еще 2 интересных параметра, которые могут быть заданы как на уровне аргументов исполняемого файла клиента, так и в VpxClient.exe.config:

• -expAll либо добавление секции <expAll /> - при открытии vSphere Client ваше Inventory хостов и виртуальных машин будет полностью раскрыто
• -noPlugins либо добавление секции <noPlugins /> - при запуске клиента все плагины будут отключены

Виктор прислал мне презентацию от того самого Ивана, который на одной из юзер-групп VMware рассматривал особенности дизайна и проектирования виртуальной инфраструктуры VMware vSphere. Часть, касающаяся виртуализации различных типов нагрузок в гостевых ОС виртуальных машин показалась мне очень интересной, поэтому я решил перевести ее и дополнить своими комментариями и ссылками. Итак, что следует учитывать при переносе и развертывании различных приложений в виртуальных машинах на платформе vSphere.

Мы уже писали о новом механизме высокой доступности VMware High Availability (HA), который появился в VMware vSphere 5 и работает на базе агентов Fault Domain Manager (FDM). Как известно, вместо primary/secondary узлов в новом HA появились роли узлов - Master (один хост кластера, отслеживает сбои и управляет восстановлением) и Slave (все остальные узлы, подчиняющиеся мастеру и выполняющие его указания в случае сбоя, а также участвующие в выборе нового мастера в случае отказа основного).

В нашей статье об HA было описано основное поведение хостов VMware ESXi и кластера HA в случае различных видов сбоев, но Iwan Rahabok сделал для этих процессов прекрасные блок-схемы, по которым понятно, как все происходит.

Если хост ESXi (Slave) не получил хартбита от Master, которые он ожидает каджую секунду, то он может либо принять участие в выборах, либо сам себя назначить мастером в случае изоляции (кликабельно):

Если хост ESXi (Master) получает heartbeat хотя бы от одного из своих Slave'ов, то он не считает себя изолированным, ну а если не получает от всех, то он изолирован и выполняет Isolation Responce в случае, если нет пинга до шлюза. Работающим в разделенном сегменте сети он себя считает, когда он может пинговать шлюз. Проверка живости хостов (Slaves) производится не только по хартбитам, но и по datastore-хартбитам (кликабельно):

Все просто и понятно. Иван молодец.

Если у вас в виртуальной инфраструктуре большой набор хранилищ, хостов VMware ESXi и виртуальных машин, то легко не заметить один интересный момент - бесполезные vswp-файлы для виртуальных машин, размещенные в папке с ВМ. Выглядят они как <что-то там>.vswp.<номер чего-то там>:

Как видно из картинки, файлы эти не маленькие - размер vswp равен объему памяти, сконфигурированной для виртуальной машины (vRAM) без Reservation для RAM (если есть reservation, то размер vswp = vRAM - Reservation). Так вот эти файлы с номерами - это ненужный мусор. Образуются они тогда, когда хост ESXi падает в PSOD с запущенными виртуальными машинами.

Эти файлы, понятно дело, надо удалить. Для этого удобнее всего использовать PowerCLI:

dir vmstores:\ -Recurse -Include *.vswp.* | Select Name,Folderpath

Пример вывода мусорных файлов vswp с путями:

Ну а дальше сами знаете, что с ними делать.

На сайте проекта VMware Labs появилась новая интересная утилита Guest Reclaim, позволяющая уменьшить размер "тонкого" (thin provisioned) диска виртуальной машины из гостевой ОС Windows, истребовав нулевые блоки. Напомним, что когда тонкий диск виртуальной машины растет по мере наполнения данными, а потом вы эти данные в самой гостевой системе удаляете, его размер не уменьшается.

Один из способов уменьшить диск машины в VMware vSphere - это использовать утилиту sdelete для очистки блоко и перемещение виртуальной машины на другое хранилище средствами Storage vMotion. Однако, если вы прочтете нашу статью про datamover'ы при Storage vMotion и вспомните, что VMware vSphere 5 использует унифицированные блоки размером 1 МБ для всех хранилищ, то поймете, что этот способ больше не работает, поскольку в датамувере fs3dm не реализована процедура вычищения блоков целевого виртуального диска.

Есть конечно способ отключить fs3dm и, все-таки, уменьшить виртуальный диск машины на ESXi, однако это не очень удобная процедура. Поэтому сотрудники VMware и сделали удобную консольную утилитку Guest Reclaim, которая позволяет уменьшить диск с файловой системой NTFS.

Поддерживаются следующие гостевые ОС:

• Windows XP
• Windows Vista
• Windows 7
• Windows Server 2003
• Windows Server 2008

Запускать утилиту нужно из гостевой ОС, в которой есть диски, являющиеся тонкими. Чтобы просмотреть список тонких дисков используйте команду:

GuestReclaim.exe -list

Если ничего не найдено - значит первые 16 дисков не являются тонкими или у вас ESXi 5.0 и ниже (читайте дальше). VMware предлагает приступать к уменьшению диска, когда у вас разница между размером VMDK и файлами гостевой ОС хотя бы 1 ГБ, при этом для работы самой утилиты может потребоваться дополнительно 16-100 МБ свободного места. Также перед началом использования утилиты рекомендуется запустить дефрагментацию диска, на которую тоже может потребоваться свободное место (будет расти сам VMDK-файл).

Команда, чтобы уменьшить тонкий VMDK-диск за счет удаления нулевых блоков, выполняемая из гостевой ОС:

guestReclaim.exe --volumefreespace D:\

Еще одно дополнение - утилиту можно использовать и для RDM-дисков.

А теперь главное - утилита работает только в случае, если hypervisor emulation layer представляет гостевой ОС диски как тонкие. В VMware ESXi 5.0, где Virtual Hardware восьмой версии, такой возможности нет, а вот в ESXi 5.1, где уже девятая версия виртуального железа - такая возможность уже есть. Соответственно, использовать утилиту вы можете только, начиная с VMware vSphere 5.1 (бета сейчас уже у всех есть), а пока можно использовать ее только для RDM-дисков.

Из ограничений утилиты Guest Reclaim:

• Не работает со связанными клонами (Linked Clones)
• Не работает с дисками, имеющими снапшоты
• Не работает под Linux

Из дополнительных возможностей:

• Поддержка томов Simple FAT/NTFS
• Поддержка flat partitions и flat disks для истребования пространства
• Работа в виртуальных и физических машинах

FAQ по работе с утилитой доступен по этой ссылке. Скачать утилиту можно тут.

Мы уже писали о том, что в продукте номер 1 - vGate R2, предназначенном для защиты виртуальной инфраструктуры VMware vSphere, имеются, помимо всего прочего, втроенные средства контроля целостности и доверенной загрузки виртуальных машин. Реализуется это средствами одной из политик безопасности для хост-серверов VMware ESXi:

После того, как вы назначите виртуальной машине метку с данной политикой, начнется процесс контроля целостности (проверка каждые 10 минут). Будет производиться сравнение эталонной контрольной суммы ВМ с текущей. При несовпадении контрольных сумм ВМ фиксируется нарушение целостности и изменяется статус ВМ, которых может быть несколько.

Однако надо помнить, что нужно защищать также и сами хост-серверы ESXi, находящиеся в датацентре компании. Для эффективной защиты сервера виртуализации, помимо vGate R2, необходим электронный замок - ПАК «Соболь» версии 3.0 для реализации следующих защитных механизмов:

• идентификация и аутентификация пользователей на входе в систему (непосредственно при запуске сервера);
• ведение журнала безопасности;
• сигнализация попыток нарушения защиты;
• запрет загрузки с внешних носителей;
• контроль конфигурации (PCI-устройств, ACPI, SMBIOS и оперативной памяти).

Весь перечисленный комплекс возможностей не позволит злоумышленнику (в случае если он получил физический доступ к серверу виртуализации) реализовать одну из наиболее распространенных угроз – перезагрузку сервера и загрузку с внешнего носителя для получения доступа ко всей информации, хранящейся на сервере.

Так как, во-первых, злоумышленник столкнется с необходимостью идентификации/аутентификации до старта операционной системы, при этом реализованный механизм защиты от подбора паролей после трех неудачных попыток заблокирует сервер. Во-вторых, если злоумышленник, имея в распоряжении идентификационные данные, пройдет «первый барьер защиты», то на «втором» его будет ждать блокировка всех внешних устройств (CD-ROM, USB, eSata и т.д.), что исключает возможность загрузки нештатной ОС с любых внешних носителей.

Единственной недоступной возможностью при использовании ПАК «Соболь» версии 3.0 на сервере виртуализации, работающем под управлением VMware vSphere 5, является контроль целостности (КЦ) программной среды до загрузки ОС.

В руководящем документе ФСТЭК России нет разделения на КЦ в операционной системе или до ее старта, поэтому при использовании «тандема» vGate R2 и ПАК «Соболь» версии 3.0 требование 4.1. «Обеспечение целостности программных средств и обрабатываемой информации» будет выполнено средствами vGate R2.

Таким образом, применение обоих средств защиты информации – ПАК «Соболь» версии 3.0 и vGate R2 – в комплексе позволяет защитить сервер с установленной платформой для виртуализации VMware vSphere 5 и нейтрализовать угрозы непосредственного доступа (угрозы, реализуемые до загрузки ОС, и угрозы, реализуемые после загрузки ОС).

Наличие у продуктов сертификатов ФСТЭК России позволяет использовать vGate R2 и ПАК «Соболь» версии 3.0 для защиты информации, составляющей коммерческую или государственную тайну в автоматизированных системах с классом защищенности до 1Б включительно.

Напомним, что версия vGate R2 с поддержкой vSphere 5 уже поступила в продажу, а бесплатную пробную версию продукта можно скачать тут.

Как известно, виртуализация требует дополнительных ресурсов сверх тех, которые потребляет непосредственно виртуальная машина. Это называют накладными расходами на виртуализацию (так называемый virtualization overhead). Оверхэд есть как для процессора (примерно 3-5 процентов на хост-сервере), так и для оперативной памяти.

При этом для оперативной памяти накладные расходы гипервизора зависят от количества виртуальных процессоров (vCPU) и объема оперативной памяти, выделенных виртуальной машине. Мы уже писали о накладных расходах по RAM для виртуальных машин в VMware vSphere 4, где использовались следующие средние значения:

Информация эта взята из vSphere 4.0 Online Library.

В VMware vSphere 5 есть новая возможность, которая называется VMX Swap. При включении виртуальной машины гипервизор ESXi создает для нее vmx-процесс, управляющий различными структурами данных, под которые требуется физическая оперативная память. Ее объем, как было сказано, зависит от конфигурации ВМ - количества vCPU и RAM. Для снижения потребления этой памяти в ESXi 5.0 механизм VMX Swap создает swap-файл для сегментов данных процесса vmx, куда сбрасываются страницы памяти, но только в случае нехватки физической оперативной памяти на хосте.

VMX Swap создает файлы подкачки в директории с виртуальной машиной, через который и происходит загрузка и выгрузка страниц процесса vmx. Размещение этих файлов можно переопределить, добавив следующий параметр в расширенные настройки виртуальной машины:

sched.swap.vmxSwapDir

По умолчанию механизм VMX Swap включен и в критических ситуациях позволяет уменьшить overhead типичной виртуальной машины с 50 МБ до 10 МБ. Для виртуализации серверов такие порядки цифр может и не очень важны, зато для виртуализации настольных ПК (например, VMware View), где на одном сервере могут находиться десятки и даже сотни виртуальных машин, эта возможность может оказаться весьма кстати в условиях нехватки вычислительных ресурсов.

Если вы считаете, что ресурсов у вас достаточно и VMX Swap вам не нужен, можно его отключить, добавив значение FALSE в следующу расширенную настройку виртуальной машины:

sched.swap.vmxSwapEnabled

Ну а теперь посмотрим сколько оверхэда по памяти потребляет виртуальная машина уже в VMware vSphere 5 с включенным по умолчанию VMX Swap:

Эта информация уже из vSphere 5 Documentation Center. Как мы видим из таблицы, накладные расходы по памяти с учетом VMX Swap уже значительно меньше (в некоторых случаях до 8-9 раз). Как уверяют коллеги из VMware, в условиях недостатка ресурсов VMX Swap почти не влияет на производительность хост-сервера ESXi, ну а в условиях достатка - не влияет совсем.

На сайте Фрэнка Деннемана появилась отличная статья про механизмы "горячей" миграции хранилищ (Storage vMotion) и "горячей" миграции виртуальных машин (vMotion) в контексте их использования для одного хранилища (Datastore) или хоста ESXi в VMware vSphere. Мы просто не можем не перевести ее, так как она представляет большой интерес для понимания работы этих механизмов.

Начнем со Storage vMotion. Данная операция, очевидно, требует большой нагрузки как на хранилище, откуда и куда, переносятся виртуальные машины, так и на сам хост-сервер VMware ESXi. Особенно актуально это, когда хост или хранилище переходят в Maintenance Mode, и виртуальные машины массово начинают миграцию. В случае со Storage vMotion это создает колоссальную нагрузку на хранилище по вводу-выводу.

Для понимания затрат ресурсов на эти процессы Фрэнк вводит понятие "цены" (cost) начинающейся операции, которая не может превосходить количество доступных слотов на хосте или хранилище, выделенных под них. Наглядно это можно представить так:

Resource Max Cost - это максимальный объем в неких единицах (назовем их слотами), который находится в рамках пула доступных ресурсов для операции Storage vMotion. Для хоста ESXi емкость такого пула составляет 8 слотов, а цена операции Storage vMotion - 4 слота. Таким образом, на одном хосте ESXi могут одновременно выполняться не более 2-х операций Storage vMotion. Если выполняется одна операция - то занято 4 слота и 4 слота свободно (как для исходного, так и для целевого хранилища).

С хранилищем точно такая же система - но у него 128 слотов. Одна операция Storage vMotion для Datastore потребляет 16 слотов. Таким образом, на одном хранилище может выполняться 8 (128 / 16) одновременных операций Storage vMotion. Их могут инициировать, например, 4 хоста (по 2 операции максимально каждый). То есть, мы получаем следующую схему:

Все просто и понятно. Отметим здесь, что операция vMotion тоже потребляет ресурсы с Datastore - но всего 1 слот. Таким образом, на одном Datastore могут, например, выполняться 7 одновременных миграций Storage vMotion (7 * 16 = 112 слотов) и еще 16 миграций vMotion (112+16 = 128), задействующих ВМ этого Datastore.

Если вы не хотите, чтобы при переводе Datastore в Maintenance Mode на нем возникало сразу 8 одновременных миграций Storage vMotion и, как следствие, большой нагрузки, вы можете уменьшить пул слотов для хранилищ (для всех, а не для какого-то конкретно). Для этого нужно отредактировать конфигурационный файл vpxd.cfg на сервере VMware vCenter, который находится в папке:

%ALLUSERPROFILE%\Application Data\VMware\VMware VirtualCenter\

Там нужно вписать новое значение в следующую секцию, где "new value":

< config >
< vpxd >
< ResourceManager >
< MaxCostPerEsx41DS > new value < /MaxCostPerEsx41DS >
< /ResourceManager >
< /vpxd >
< /config >

Вбив значение 112, вы уменьшите максимальное число одновременных миграций Storage vMotion на Datastore до 7. На хосте ESXi менять размер пула слотов для Storage vMotion не рекомендуется (хотя такие секции можно добавить - это пробовали энтузиасты).

Про стоимость миграций vMotion для хостов ESX / ESXi 4.1 мы уже писали вот тут. На эту тему есть также статья KB 2001417. С тех пор в vMotion много чего изменилось, поэтому подтвердить актуальность для vSphere 5 пока не могу. Буду признателен, если вы напишете об этом в комментариях.

Иногда интересно в целях аудита посмотреть, какие команды были выполнены на хосте VMware ESXi 5.0, а что интереснее - кто именно их выполнял. Для этого на хосте ESXi есть специальный лог-файл, хранящий введенные команды:

/var/log/shell.log

В этот лог на хосте можно также заглянуть и через веб-браузер по адресу: https://ESXiHostnameOrIP/host/shell.log

Посмотрим его содержимое:

Отлично - историю команд мы получили, но кто из пользователей их выполнял? Для этого нам понадобится запомнить число в квадратных скобках после слова "shell" - это так называемый World ID для сессии (например, 2938482). Обратите также внимание на присутствующий для каждой команды timestamp.

Далее нам понадобиться открыть следующий лог-файл, хранящий данные об аутентификации пользователей:

/var/log/auth.log

В этот лог на хосте можно также заглянуть и через веб-браузер по адресу: https://ESXiHostnameOrIP/host/auth.log

Там мы найдем такие строчки, если использовался прямой логин в ESXi Shell:

2011-08-29T18:01:00Z login[2938482]: root login on 'char/tty/1'

Если использовался логин по SSH в интерактивном режиме, мы увидим вот такое:

2011-08-29T18:01:00Z sshd[12345]: Connection from 10.11.12.13 port 2605
2011-08-29T18:01:00Z sshd[12345]: Accepted keyboard-interactive/pam for root from10.11.12.13 port 2605 ssh2
2011-08-29T18:01:00Z sshd[2938482]: Session opened for 'root' on /dev/char/pty/t0
2011-08-29T18:01:00Z sshd[12345]: Session closed for 'root' on /dev/char/pty/t0
...
2011-08-29T18:35:05Z sshd[12345]: Session closed for 'root' 2

Если использовался логин по SSH с использованием публичного ключа, то мы увидим следующее:

2011-08-29T18:01:00Z sshd[12345]: Connection from 10.11.12.13 port 2605
2011-08-29T18:01:00Z sshd[12345]: Accepted publickey for root from 10.11.12.13 port 2605ssh2
2011-08-29T18:01:00Z sshd[2938482]: Session opened for 'root' on /dev/char/pty/t0
2011-08-29T18:01:00Z sshd[12345]: Session closed for 'root' on /dev/char/pty/t0
...
2011-08-29T18:35:05Z sshd[12345]: Session closed for 'root' 2

Теперь, я думаю понятно, что World ID сессии, который мы нашли для пользователя открывшего сессию с ESXi Shell и который указан в квадратных скобках строчек лога auth.log - тот же самый, что и в логе shell.log. Таким образом, в логе shell можно всегда понимать, кто и когда выполнял данные команды, зная World ID сессии пользователя из auth.log и timestamp.

Ведущие вендоры решений для виртуализации настольных ПК предприятия (а их всего два - Citrix и VMware) постоянно ищут пути оптимизации своих продуктов для получения максимальной производительности виртуальных ПК во всех аспектах: вычислительные ресурсы, сети и хранилища. Это неудивительно, так как, зачастую, именно по этому показателю пользователи выбирают подходящее им решения. Мы уже много писали о технологии VMware Storage Accelerator, которая есть в решении VMware View 5.1 - она использует оперативную память хост-серверов ESXi для кэширования блоков виртуальных машин.

Но надо помнить, что еще раньше компания Citrix тоже разработала технологию оптимизации хранилищ виртуальных ПК - IntelliCache для продуктов Citrix XenServer и XenDesktop, которая, правда, работает несколько по-иному: блоки данных виртуальных машин кэшируются не в оперативной памяти, а на локальном хранилище сервера XenServer.

Технология Citrix IntelliCache кэширует блоки данных виртуальных ПК на локальном диске (само собой, лучше использовать SSD-накопители) при записи данных на общее хранилище, а когда они запрашиваются с последнего виртуальными машинами, то просматривается локальный кэш и отдаются кэшированные блоки виртуальной машины напрямую с локального хранилища. Соответственно, если используется высокопроизводительное локальное хранилище - блоки виртуальным машинам будут отдаваться существенно быстрее, что позволит, например, сгладить последствия событий Boot Storm или Antivirus Storm. При выключении или перезагрузке виртуальной машины - локальный кэш очищается.

Для каждой виртуальной машины могут быть созданы 2 типа файлов на локальном хранилище в целях обеспечения работы IntelliCache - несколько файлов write cache и один файл shared read cache (файлы типа <uuid>.vhdcache на локальном репозитории). Здесь надо отметить, что при работе Citrix XenDesktop есть 2 режима работы виртуальных ПК с кэшем IntelliCache:

• Shared Desktop Mode - когда опция on-boot выставлена в значение reset, а флаг allow-caching - в значение true. В этом случае отличия виртуального ПК от базового образа (дельта) будет писаться только на локальный диск, минуя общее хранилище. Это позволит использовать комбинацию чтения с общего хранилища (базовый образ) и чтения/записки на локальном хранилище сервера XenServer, что увеличивает производительность как чтения, так и записи данных. Однако, разумеется, для таких виртуальных машин нельзя использовать такие технологии как XenMotion и High Availablity, так как часть данных ВМ хранится только локально. Это лучше использовать для неперсистентных десктопов и дисков, состояние которых не сохраняется при выключении или перезагрузке (pooled desktops).
• Private Desktop Mode - когда опция on-boot выставлена в значение persist, а флаг allow-caching - в значение true. В этом случае данные пишутся одновременно в кэш и на общее хранилище, а кэш позволяет оптимизировать производительность только при чтении данных. При этом для виртуальной машины работают все технологии, требующие общего хранилища. Такую технику лучше использовать, когда используются постоянные виртуальные ПК с сохранением данных при выключении (dedicated desktops).

Технология IntelliCache дает существенный выигрыш в производительности в инфраструктуре VDI (тесты Login VSI):

Для использования IntelliCache при установке XenServer потребуется создать локальный storage repository (SR) с поддержкой данной технологии, которая, напомним, появилась в Citrix XenServer 5.6 SP1 (поэтому для более ранних версий продукта эта технология работать не будет). При установке нужно не забыть отметить галку "Enable thin provisioning (Optimized storage for XenDesktop)".

Со стороны инфраструктуры XenDesktop вам понадобится XenDesktop 5 service pack 1 или более поздней версии, где поддержка технологии IntelliCache включается одной галкой в мастере добавления хост-сервера:

Так как локальные репозитории предшествующих версий XenServer построены на базе LVM, а SR с поддержкой IntelliCache используют EXT3, конвертировать старые локальные репозитории в новые получится только с полной потерей данных на репозитории. Чтобы сделать это, нужно выполнить следующую последовательность команд:

localsr='xe sr-list type=lvm host=<hostname> params=uuid --minimal'
echo localsr=$localsr
pbd='xe pbd-list sr-uuid=$localsr params=uuid --minimal'
echo pbd=$pbd
xe pbd-unplug uuid=$pbd
xe pbd-destroy uuid=$pbd
xe sr-forget uuid=$localsr
sed -i "s/'lvm'/'ext'/" /etc/firstboot.d/data/default-storage.conf
rm -f /etc/firstboot.d/state/10-prepare-storage
rm -f /etc/firstboot.d/state/15-set-default-storage
service firstboot start
xe sr-list type=ext

Далее на созданном репозитории включаем поддержку кэширования IntelliCache:

xe host-disable host=<hostname>
localsr='xe sr-list type=ext host=<hostname> params=uuid --minimal'
xe host-enable-local-storage-caching host=<hostname> sr-uuid=$localsr
xe host-enable host=<hostname>

Более подробную информацию о Citrix IntelliCache можно получить из следующих источников:

• XenServer 5.6 SP2 and XenDesktop 5 SP1 now fully support IntelliCache
• Digging in to Citrix XenServer 5.6 FP's new “IntelliCache” feature. Hint: It’s a BIG deal for desktops!
• How to Use IntelliCache with XenDesktop
• XenServer 5.6 Service Pack 2 Installation Guide
• XenDesktop 5 with IntelliCache cuts VDI storage costs in half
• XenDesktop and local storage + IntelliCache

В середине марта этого года компания VMware выпустила технологическое превью продукта VMware Workstation 2012, в котором впервые была анонсирована возомжность WSX - доступ к консоли виртуальной машины через браузер, в том числе, и с мобильных устройств, таких как Apple iPad под управлением iOS 5 и выше. На днях обновился это технологический релиз (VMware Workstation 2012 TP June), в котором появилось несколько интересных возможностей.

Напомним, что WSX Server, который есть в Workstation 2012, работает на базе технологии HTML 5 (с поддержкой WebSockets), что подразумевает отсутствие необходимости иметь какие-либо дополнительные компоненты, кроме веб-браузера, чтобы получить доступ к консоли виртуальной машины и средствами управления ей. В качестве веб-браузеров, той или иной степени совместимых с HTML 5, можно использовать Chrome 17, Firefox 10, IE 10, Safari 5 на ПК с Mac OS и iOS 5 для iPad. Отметим также, что эта возможность на данном этапе является "очень экспериментальной" (например, известно, что картинка иногда "зависает" и нужно повторно переподключиться).

В частности, все неплохо работает на New iPad с экраном Retina:

Добавим также, что компонент WSX Server есть как под Windows, так и под Linux, и доступен для загрузки вместе с основным дистрибутивом продукта.

Среди новых возможностей VMware Workstation 2012 TP June:

• Поддержка гостевых и хостовых ОС Windows 8 и Windows Server 2012
  
• Поддержка Ubuntu 12.04
• Улучшения движка графического рендеринга и общие улучшения производительности
  
• Поддержка OpenGL для гостевых ОС Linux
  
• Restricted Virtual Machines - возможность задать дополнительный пароль для зашифрованных ВМ, чтобы предотвратить изменение их конфигурации со стороны неавторизованных пользователей (например, ВМ для студентов)
• Возможность загрузки виртуальных машин на хосты VMware vSphere и обратно с них на Workstation
• Возможность запуска "вложенных" виртуальных машин с ESX/ESXi
  
• Запуска сервера Hyper-V в качестве гостевой ОС (эта возможность официально не поддерживается и никогда не будет)
• Счетчики производительности виртуальных машин для профилирования приложений из гостевой ОС
• Remote connections - существенные улучшения производительности при соединении с консолью ВМ на VMware vSphere или к машинам Workstation с помощью VNC-клиента
• Disk Cleanup - новая возможность почистить место в папке с файлами виртуальной машины
• UI Changes - интерфейс стал более современным и удобным
• Существенно доработан сервер WSX, о котором написано выше
• Поддержка голосового движка через WSX на Mac OS и iOS при работе с консолью ВМ Windows

Более подробно о VMware Workstation 2012 TP June можно прочитать на странице ведущего разработчика, а также на официальной странице обновленного продукта. Скачать VMware Workstation 2012 TP June вместе с компонентами WSX можно по этой ссылке.

Также обновился технологический релиз продукта VMware Fusion 2012 TP June. Новые возможности Fusion 2012:

• Поддержка Windows 8 в виртуальных машинах, а также возможность импорта физических ПК в ВМ
• Установлка в режиме "Boot Camp"
• Улучшенная стабильность при работе с приложениями для Windows 7 и Windows 8
• Запуск приложений Windows 7 и Windows 8 в режиме Unity
• Поддержка ВМ с гостевой ОС Linux и 3D desktops, включая Ubuntu 12.04 LTS и последние релизы OpenSUSE
• Улушчение производительности и надежности операций suspend, resume, pause, restart
• Импорт машин в OVF-формате
• Новый прототип библиотеки виртуальных машин (virtual machine library)
• Новый механизм работы с окнами VMware Fusion (настройки, снапшоты и т.п.)

Скачать VMware Fusion 2012 TP June можно по этой ссылке, дополнительная информация о новых возможностях доступна тут.

Как мы уже писали в одной из статей, в VMware vSphere 5 при работе виртуальных машин с хранилищами могут возникать 2 похожих по признакам ситуации:

APD (All Paths Down) - когда хост-сервер ESXi не может получить доступа к устройству ни по одному из путей, а также устройство не дает кодов ответа на SCSI-команды. При этом хост не знает, в течение какого времени будет сохраняться такая ситуация. Типичный пример - отказ FC-коммутаторов в фабрике или выход из строя устройства хранения. В этом случае хост ESXi будет периодически пытаться обратиться к устройству (команды чтения параметров диска) через демон hostd и восстановить пути. В этом случае демон hostd будет постоянно блокироваться, что будет негативно влиять на производительность. Этот статус считается временным, так как устройство хранения или фабрика могут снова начать работать, и работа с устройством возобновится.

В логе /var/log/vmkernel.log ситуация APD выглядит подобным образом:

2011-07-30T14:47:41.187Z cpu1:2049)WARNING: NMP: nmp_IssueCommandToDevice:2954:I/O could not be issued to device "naa.60a98000572d54724a34642d71325763" due to Not found
2011-07-30T14:47:41.187Z cpu1:2049)WARNING: NMP: nmp_DeviceRetryCommand:133:Device "naa.60a98000572d54724a34642d71325763": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2011-07-30T14:47:41.187Z cpu1:2049)WARNING: NMP: nmp_DeviceStartLoop:721:NMP Device "naa.60a98000572d54724a34642d71325763" is blocked. Not starting I/O from device.
2011-07-30T14:47:41.361Z cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:599:Retry world failover device "naa.60a98000572d54724a34642d71325763" - issuing command 0x4124007ba7c0
2011-07-30T14:47:41.361Z cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:658:Retry world failover device "naa.60a98000572d54724a34642d71325763" - failed to issue command due to Not found (APD), try again...
2011-07-30T14:47:41.361Z cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:708:Logical device "naa.60a98000572d54724a34642d71325763": awaiting fast path state update...
2011-07-30T14:47:42.361Z cpu0:2642)WARNING: NMP: nmpDeviceAttemptFailover:599:Retry world failover device "naa.60a98000572d54724a34642d71325763" - issuing command 0x4124007ba7c0
2011-07-30T14:47:42.361Z cpu0:2642)WARNING: NMP: nmpDeviceAttemptFailover:658:Retry world failover device "naa.60a98000572d54724a34642d71325763" - failed to issue command due to Not found (APD), try again...
2011-07-30T14:47:42.361Z cpu0:2642)WARNING: NMP: nmpDeviceAttemptFailover:708:Logical device "naa.60a98000572d54724a34642d71325763": awaiting fast path state update...

Ключевые слова здесь: retry, awaiting. Когда вы перезапустите management agents, то получите такую вот ошибку:

Not all VMFS volumes were updated; the error encountered was 'No connection'.
Errors:
Rescan complete, however some dead paths were not removed because they were in use by the system. Please use the 'storage core device world list' command to see the VMkernel worlds still using these paths.
Error while scanning interfaces, unable to continue. Error was Not all VMFS volumes were updated; the error encountered was 'No connection'.

В этом случае надо искать проблему в фабрике SAN или на массиве.

PDL (Permanent Device Loss) - когда хост-серверу ESXi удается понять, что устройство не только недоступно по всем имеющимся путям, но и удалено совсем, либо сломалось. Определяется это, в частности, по коду ответа для SCSI-команд, например, вот такому: 5h / ASC=25h / ASCQ=0 (ILLEGAL REQUEST / LOGICAL UNIT NOT SUPPORTED) - то есть такого устройства на массиве больше нет (понятно, что в случае APD по причине свича мы такого ответа не получим). Этот статус считается постоянным, так как массив ответил, что устройства больше нет.

А вообще есть вот такая табличка для SCSI sense codes, которые вызывают PDL:

В случае статуса PDL гипервизор в ответ на запрос I/O от виртуальной машины выдает ответ VMK_PERM_DEV_LOSS и не блокирует демон hostd, что, соответственно, не влияет на производительность. Отметим, что как в случае APD, так и в случае PDL, виртуальная машина не знает, что там произошло с хранилищем, и продолжает пытаться выполнять команды ввода-вывода.

Такое разделение статусов в vSphere 5 позволило решить множество проблем, например, в случае PDL хост-серверу больше не нужно постоянно пытаться восстановить пути, а пользователь может удалить сломавшееся устройство с помощью операций detach и unmount в интерфейсе vSphere Client (в случае так называемого "Unplanned PDL"):

В логе /var/log/vmkernel.log ситуация PDL (в случае Unplanned PDL) выглядит подобным образом:

2011-08-09T10:43:26.857Z cpu2:853571)VMW_SATP_ALUA: satp_alua_issueCommandOnPath:661: Path "vmhba3:C0:T0:L0" (PERM LOSS) command 0xa3 failed with status Device is permanently unavailable. H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x25 0x0.
2011-08-09T10:43:26.857Z cpu2:853571)VMW_SATP_ALUA: satp_alua_issueCommandOnPath:661: Path "vmhba4:C0:T0:L0" (PERM LOSS) command 0xa3 failed with status Device is permanently unavailable. H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x25 0x0.
2011-08-09T10:43:26.857Z cpu2:853571)WARNING: vmw_psp_rr: psp_rrSelectPathToActivate:972:Could not select path for device "naa.60a98000572d54724a34642d71325763".
2011-08-09T10:43:26.857Z cpu2:853571)WARNING: ScsiDevice: 1223: Device :naa.60a98000572d54724a34642d71325763 has been removed or is permanently inaccessible.
2011-08-09T10:43:26.857Z cpu3:2132)ScsiDeviceIO: 2288: Cmd(0x4124403c1fc0) 0x9e, CmdSN 0xec86 to dev "naa.60a98000572d54724a34642d71325763" failed H:0x8 D:0x0 P:0x0
2011-08-09T10:43:26.858Z cpu3:2132)WARNING: NMP: nmp_DeviceStartLoop:721:NMP Device "naa.60a98000572d54724a34642d71325763" is blocked. Not starting I/O from device.
2011-08-09T10:43:26.858Z cpu2:2127)ScsiDeviceIO: 2316: Cmd(0x4124403c1fc0) 0x25, CmdSN 0xecab to dev "naa.60a98000572d54724a34642d71325763" failed H:0x1 D:0x0 P:0x0 Possible sense data: 0x5 0x25 0x0.
2011-08-09T10:43:26.858Z cpu2:854568)WARNING: ScsiDeviceIO: 7330: READ CAPACITY on device "naa.60a98000572d54724a34642d71325763" from Plugin "NMP" failed. I/O error
2011-08-09T10:43:26.858Z cpu2:854568)ScsiDevice: 1238: Permanently inaccessible device :naa.60a98000572d54724a34642d71325763 has no more open connections. It is now safe to unmount datastores (if any) and delete the device.
2011-08-09T10:43:26.859Z cpu3:854577)WARNING: NMP: nmpDeviceAttemptFailover:562:Retry world restore device "naa.60a98000572d54724a34642d71325763" - no more commands to retry

Ключевое слово здесь - permanently.

Становится понятно, что в случае, когда устройство хранения (LUN) реально сломалось или удалено сознательно, лучше всего избежать ситуации APD и попасть в статус PDL. Сделать это удается хост-серверу ESXi не всегда - по прежнему в vSphere 5.0 Update 1 это обрабатывается в ограниченном количестве случаев, но в vSphere 5.1 обещают существенно доработать этот механизм.

Также есть Advanced Settings на хосте ESXi, которые позволяют управлять дальнейшей судьбой машины, которая оказалась жертвой ситуации PDL. В частности есть 2 следующие расширенные настройки (начиная с vSphere 5.0 Update 1) - первая в категории "Disk", а вторая в расширенных настройках кластера HA:

disk.terminateVMonPDLDefault - если эта настройка включена (True), то в ситуации PDL для устройства, где находится ВМ, эта машина будет выключена. Настройка задается на уровне хоста ESXi и требует его перезагрузки для ее применения.

das.maskCleanShutdownEnabled - это настройка, будучи включенной (True), позволяет механизму VMware HA приступить к восстановлению виртуальной машины. Соответственно, если она выключена, то HA проигнорирует выключение виртуальной машины в случае ее "убийства" при включенной первой настройке.

Рекомендуется, чтобы обе эти настройки были включены.

Все описанные выше механизмы могут очень пригодиться при построении и обработке сбоев в "растянутых кластерах" VMware HA, построенных между географически разнесенными датацентрами. Об этом всем детально написано в документе "VMware vSphere Metro Storage Cluster Case Study".

Продолжаем вас знакомить с продуктом номер 1 - vGate R2, предназначенным для защиты виртуальных сред VMware vSphere. Напомним, что он позволяет производить автоматическую настройку конфигурации безопасности хост-серверов VMware ESX / ESXi средствами политик, защищать инфраструктуру от несанционированного доступа, а также имеет все необходимые сертификаты ФСТЭК (включая сертификаты на vSphere 5.0).

Не так давно мы уже писали о том, что в целях обеспечения отказоустойчивости в инфраструктуре vGate R2 можно сделать резервный сервер авторизации, который возьмет на себя функции решения в случае отказа основного сервера. Однако, помимо традиционной отказоустойчивости, полезно делать резервное копирование конфигурации, например, на случай ее случайной порчи или совершения некорректных настроек. Также резервное копирование конфигурации сервера авторизации надо обязательно делать перед обновлением продукта на новую версию, чтобы в случае чего не настраивать все параметры защиты заново.

Для этого в vGate R2 есть специальная утилита db-util, которая находится на установочном диске в каталоге \Tools. Сделать резервную копию конфигурации сервера авторизации можно простой командой:

D:\vGate\Tools\db-util.exe -b c:\Backup

После этого нужно убедиться, что в указанном целевом каталоге присутствуют файлы резервной копии. При необходимости восстановления можно воспользоваться командой:

D:\vGate\Tools\db-util.exe -r c:\Backup

Помните, что предварительно нужно остановить все службы vGate, иначе восстановиться не получится. При необходимости вы также можете использовать следующие аргументы:

• -f [--force] – команда восстановления конфигурации -r [--restore] не будет запрашивать подтверждение на операцию;
• -v [--verbose] – операции резервирования и восстановления будут иметь подробный вывод (лучше этот ключ указать).

Если по каким-либо причинам восстановить конфигурацию vGate R2 не получилось, нужно полностью удалить продукт и PosgreSQL с сервера авторизации, затем поставить его заново и восстановить конфигурацию.

Напомним, что версия vGate R2 с поддержкой vSphere 5 уже поступила в продажу, а бесплатную пробную версию продукта можно скачать тут.

Не все знают, что в качестве распределенного коммутатора с расширенной функциональностью для инфраструктуры VMware vSphere существует не только устройство Cisco Nexus 1000V. Есть также и виртуальное устройство от IBM, которое называется System Networking Distributed Switch 5000V (DVS 5000V).

Это тоже программный распределенный коммутатор, который поставляется в виде 2 компонентов:

• Host Module (он же Data Path Module, DPM) - модуль, поставляемый в zip-формате (Offline Bundle) для хостов VMware ESXi 5.x, позволяющий контролировать состояние виртуальных коммутаторов в пределах хоста.
• Controller - виртуальный модуль (Virtual Appliance) в формате OVA, позволяющий централизованно управлять сетевой инфраструктурой виртуализации через хостовые модули.

vDS от IBM так же, как и Nexus 1000V, интегрирован с VMware vCenter и отображается как обычный Distributed Virtual Switch в интерфейсе vSphere Client. При этом он обладает следующими расширенными возможностями:

• Поддержка технологии Private VLAN для разделения трафика ВМ
• Поддержка списков контроля доступа (ACL) для контроля трафика ВМ
• Поддержка технологий зеркалирования портов (Port Mirroring): локально (SPAN) и удаленной (ERSPAN)
• Поддержка техники мониторинга трафика sFlow (похожа на NetFlow)
• Управление трафиком и статистика на базе стандарта IEEE 802.1Qbg (Edge Virtual Bridging, EVB)
• Поддержка технологий Static Port Aggregation и Dynamic Port Aggregation
• Поддержка логирования Syslog и по SNMP

С точки зрения управления таким распределенным коммутатором DVS 5000V оно построено на базе операционной системы IBM NOS (Network Operating System) и предоставляет следующие интерфейсы:

• Telnet
• SSH
• SNMP
• TACACS+
• RADIUS
• Интерфейс командной строки (CLI)

Более подробно о виртуальном модуле IBM DVS 5000V можно прочитать в даташите, а также в руководстве пользователя.

Мы уже писали о новых возможностях VMware View 5.1 и, в частности, о технологии Storage Accelerator, которая использует кэш CBRC на чтение на стороне хоста VMware ESXi, чтобы быстрее отдавать блоки виртуальной машине напрямую из памяти, не обращаясь к хранилищу.

Как понятно из названия (Content Based Read Cache), технология Storage Accelerator позволяет оптимизировать ввод-вывод именно тогда, когда в среде виртуальных ПК у нас много операций чтения, которые происходят для множества связанных клонов, развертываемых из реплики View Compser. Таких показательных ситуаций две: Boot Storm (когда пользователи приходят на работу и одновременно включают свои ПК для доступа к своим виртуальным машинам) и Antivirus Storm (когда антивирус начинает шерстить файлы в гостевой ОС).

Интересные картинки по тестированию данной технологии обнаружились в одном из тестов Login VSI, которая проверила, как это работает на хосте со 143-мя связанными клонами виртуальных ПК для размера кэша CBRC размером в 2 ГБ. Работает это замечательно:

Как мы видим, к сотой минуте нагрузка улеглась и операции чтения стали уже не такими однородными. Для постоянных (persistent) дисков (т.е. тех, которые не развертываются из единого базового образа) технология CBRC тоже дает свои плоды:

Ну и здорово помогает нам View Storage Accelerator при антивирусном шторме, когда антивирусники большого количества виртуальных машин одновременно набрасываются на файлы гостевых ОС:

Ну и под конец напомним, что в качестве антивирусных решений в VDI-средах для оптимизации нагрузки нужно использовать решения с поддержкой VMsafe.

Для обладателей устройств iPad или iPhone и, по совместительству, разработчиков сценариев для автоматизации операций в виртуальной инфраструктуре VMware vSphere на App Store есть замечательное справочное руководство по скриптам PowerCLI - vPowerCLI5 Reference.

Справочник включает в себя более 200 командлетов PowerCLI, которые упорядочены в алфавитном порядке, также есть поиск. Для каждого командлета предоставляется описание, взятое из vSphere PowerCLI Reference от VMware.

Обращаем также внимание на плакаты PowerCLI для ESXi Image Builder и Auto Deploy в формате PDF.

Мы уже недавно писали о метриках производительности хранилищ в среде VMware vSphere, которые можно получить с помощью команды esxtop. Сегодня мы продолжим развивать эту тему и поговорим об общей производительности дисковых устройств и сайзинге нагрузок виртуальных машин по хранилищам в виртуальной среде.

Как говорит нам вторая статья блога VMware о хранилищах, есть несколько причин, по которым может падать производительность подсистемы ввода-вывода виртуальных машин:

• Неправильный сайзинг хранилищ для задач ВМ, вследствие чего хранилища не выдерживают такого количества операций, и все начинает тормозить. Это самый частый случай.
• Перегрузка очереди ввода-вывода со стороны хост-сервера.
• Достижение предела полосы пропускания между хостом и хранилищем.
• Высокая загрузка CPU хост-сервера.
• Проблемы с драйверами хранилищ на уровне гостевой ОС.
• Некорректно настроенные приложения.

Из всего этого набора причин самой актуальной оказывается, как правило, первая. Это происходит вследствие того, что администраторы очень часто делают сайзинг хранилищ для задач в ВМ, учитывая их требования только к занимаемому пространству, но не учитывая реальных требований систем к вводу выводу. Это верно в Enterprise-среде, когда у вас есть хранилища вроде HDS VSP с практически "несъедаемой" производительностью, но неверно для Low и Midrange массивов в небольших организациях.

Поэтому профилирование нагрузки по хранилищам - одна из основных задач администраторов VMware vSphere. Здесь VMware предлагает описывать модель нагрузки прикладной системы следующими параметрами:

• Размер запроса ввода-вывода (I/O Size)
• Процент обращений на чтение (Read)
• Процент случайных обращений (Random)

Таким образом профиль приложения для "типичной" нагрузки может выглядеть наподобие:

8KB I/O size, 80% Random, 80% Read

Само собой, для каждого приложения типа Exchange или СУБД может быть свой профиль нагрузки, отличающийся от типичного. Размер запроса ввода-вывода (I/O Size) также зависит от специфики приложения, и о том, как регулировать его максимальное значение на уровне гипервизора ESXi, рассказано в KB 1008205. Нужно просто в Advanced Settings выставить значение Disk.DiskMaxIOSize (значение в килобайтах). Некоторые массивы испытывают проблемы с производительностью, когда размер запроса ввода-вывода очень велик, поэтому здесь нужно обратиться к документации производителя массива. Если с помощью указанной настройки ограничить размер запроса ввода-вывода, то они будут разбиваться на маленькие подзапросы, что может привести к увеличению производительности подсистемы ввода-вывода на некоторых системах хранения. По умолчанию установлено максимальное значение в 32 МБ, что является достаточно большим (некоторые массивы начинают испытывать проблемы при запросах более 128 KB, 256 KB или 512KB, в зависимости от модели и конфигурации).

Однако вернемся к профилированию нагрузок по хранилищам в VMware vSphere. В одной из презентаций VMware есть замечательная картинка, отражающая численные характеристики производительности дисковых устройств в пересчете на шпиндель в зависимости от типа их организации в RAID-массивы:

Параметры в верхней части приведены для операций 100%-й последовательной записи для дисков на 15К оборотов. А в нижней части приведены параметры производительности для описанной выше "типичной" нагрузки, включая среднюю скорость чтения-записи, число операций ввода-вывода в секунду (IOPS) и среднюю задержку. Хорошая напоминалка, между прочим.

Теперь как анализировать нагрузку по вводу выводу. Для этого у VMware на сайте проекта VMware Labs есть специальная утилита I/O Analyzer, про которую мы уже писали вот тут. Она может многое из того, что потребуется для профилирования нагрузок по хранилищам.

Ну а дальше стандартные процедуры - балансировка нагрузки по путям, сторадж-процессорам (SP) и дисковым устройствам. Сигналом к изысканиям должен послужить счетчик Device Latency (DAVG) в esxtop, если его значение превышает 20-30 мс для виртуальной машины.

Вчера мы написали о новых возможностях Veeam Backup and Replication 6.1, которая вчера же стала доступна для загрузки. Новая версия продукта номер 1 имеет множество новых возможностей, и, помимо этого, включает бесплатное издание Veeam Backup Free Edition.

В таблице ниже приведены основные отличия коммерческой Veeam Backup and Replication и бесплатной Veeam Backup (обратите внимание, что в бесплатной версии слова Replication нет). Бесплатное издание построено на ядре знаменитой утилиты Veeam FastSCP, которой пользовались десятки тысяч администраторов для загрузки файлов на ESX / ESXi серверы. Теперь программисты Veeam привели ее в порядок, обновили механизмы работы через vSphere API, добавили некоторую функциональность от коммерческого Veeam B&R (например, VeeamZIP) и бесплатно отдают пользователям.

Посмотрим, что нам предлагают просто так:

Отметим, что вся функциональность Veeam Backup and Replication Standard полностью включена в издание Enterprise Edition, у которого значительно больше возможностей.

В итоге, в форме Veeam Backup Free Edition мы получили больше функций, чем в Veeam FastSCP, за что спасибо разработчикам. Важный момент: обновление с бесплатной версии Veeam Backup Free Edition до полноценного Veeam Backup and Replication происходит просто вводом лицензионного ключа, без необходимости переустановки продукта.

Бесплатный Veeam Backup Free можно скачать по этой ссылке: http://www.veeam.com/virtual-machine-backup-solution-free/download.html.

Коммерческий Veeam Backup and Replication можно скачать тут: http://www.veeam.com/vmware-esx-backup/download.html.

Компания VMware, после недавней публикации черновика своего руководства по обеспечению безопасности VMware vSphere 5, объявила о выпуске окончательной версии документа VMware vSphere 5 Security Hardening Guide. Теперь это руководство выпускается в виде xlsx-табличек, что хотя и выглядит как-то несолидно, однако удобнее для проектных команд при работе с документом (они все равно это вбивают в Excel):

Потенциальные угрозы, традиционно, поделены на 4 категории:

• Виртуальные машины (настройки, устройства, интерфейсы, VMware Tools)
• Хосты VMware ESXi (доступ к управлению, логи, хранилища)
• Сетевое взаимодействие (включая распределенный коммутатор dvSwitch)
• Сервер управления vCenter (доступ к управляющим компонентам и т.п.)

Также обратим внимание на документ "vSphere Hardening Guide: 4.1 and 5.0 comparison", отражающий основные отличия руководства для версий 4.1 и 5.0 (сделан он был еще для драфта Hardening'а версии 5.0).

В отличие от предыдущей версии документа, где были приведены уровни применения рекомендаций ИБ (Enterprise, SMB и т.п.), теперь используются "профили" инфраструктур:

• Profile 3 - рекомендации и настройки, которых следует придерживаться во всех инфраструктурах.
• Profile 2 - то, что необходимо делать в окружениях, где обрабатываются чувствительные данные (например, коммерческая тайна).
• Profile 1 - самый высокий уровень рекомендаций, например, для организаций, работающих с гостайной.

Еще одна полезная вещь - в столбцах для некоторых рекомендаций, касающихся конкретных конфигураций хостов ESXi или виртуальных машин, приведены ссылки на статьи KB или непосредственно сами команды для осуществления настройки по следующим интерфейсам: vSphere API, vSphere CLI (vCLI), ESXi Shell (DCUI или SSH), PowerCLI.

Приведены также и конкретные команды, которые позволяют узнать, в каком состоянии находится у вас на хосте та или иная настройка (assessment):

Скачать финальную версию VMware vSphere 5 Security Hardening Guide можно по этой ссылке.

Напомним также, что совсем недавно в продажу поступил продукт vGate R2 от компании Код Безопасности, который позволяет автоматически сканировать инфраструктуру vSphere 5 на предмет соответствия настройкам безопасности (и не только из этого документа), а также настраивать хост-серверы в соответствии с необходимыми и заданными политиками рекомендациями. Более подробно об этом написано тут.

P.S. Документ подготовлен в 10-м офисе, поэтому в более ранних версиях Microsoft Office у вас в некоторых ячейках могут отображаться значки решетки для ячеек, где много текста - ##### (то же самое будет и при печати). В этом случае нужно просто сменить формат ячейки на "Общий".

Мы уже писали об основных приемах по решению проблем на хостах VMware ESX / ESXi с помощью утилиты esxtop, позволяющей отслеживать все аспекты производительности серверов и виртуальных машин. Через интерфейс RCLI можно удаленно получать эти же данные с помощью команды resxtop.

Сегодня мы приведем простое объяснение иерархии счетчиков esxtop, касающихся хранилищ серверов VMware vSphere. Для того, чтобы взглянуть на основные счетчики esxtop для хранилищ, нужно запустить утилиту и нажать кнопку <d> для перехода в режим отслеживания показателей конкретных виртуальных машин (кликабельно). Данные значения будут представлены в миллисекундах (ms):

Если мы посмотрим на колонки, которые выделены красным прямоугольником, то в виде иерархии их структуру можно представить следующим образом:

Распишем их назначение:

• GAVG (Guest Average Latency) - общая задержка при выполнении SCSI-команд от гостевой ОС до хранилища сквозь все уровни работы машины с блоками данных. Это, само собой, самое большое значение, равное KAVG+DAVG.
• KAVG (Kernel Average Latency) - это задержка, возникающая в стеке vSphere для работы с хранилищами (гипервизор, модули для работы SCSI). Это обычно небольшое значение, т.к. ESXi имеет множество оптимизаций в этих компонентах для скорейшего прохождения команд ввода-вывода сквозь них.
• QAVG (Queue Average latency) - время, проведенное SCSI-командой в очереди на уровне стека работы с хранилищами, до передачи этой команды HBA-адаптеру.
• DAVG (Device Average Latency) - задержка прохождения команд от HBA адаптера до физических блоков данных на дисковых устройствах.

В блоге VMware, где разобраны эти показатели, приведены параметры для типичной нагрузки по вводу-выводу (8k I/O size, 80% Random, 80% Read). Для такой нагрузки показатель Latency (GAVG) 20-30 миллисекунд и более может свидетельствовать о наличии проблем с производительностью подсистемы хранения на каком-то из подуровней.

Как мы уже отметили, показатель KAVG, в идеале, должен быть равен 0 или исчисляться сотыми долями миллисекунды. Если он стабильно находится в пределах 2-3 мс или больше - тут уже можно подозревать проблемы. В этом случае нужно проверить значение столбца QUED для ВМ - если оно достигло 1 (очередь использована), то, возможно, выставлена слишком маленькая величина очереди на HBA-адаптере, и необходимо ее увеличить.

Для просмотра очереди на HBA-адаптере нужно переключиться в представление HBA кнопкой <u>:

Ну и если у вас наблюдается большое значение DAVG, то дело, скорее всего, не в хосте ESX, а в SAN-фабрике или дисковом массиве, на уровне которых возникают большие задержки.

Мы уже писали о  полезных нововведениях, касающихся сетевого взаимодействия, доступных в распределенном коммутаторе VMware vSphere Distributed Switch (vDS), которые облегчают жизнь сетевым администраторам. В частности, рассмотрели механизм Netflow и его поддержку в vSphere 5.

Напомним, что посредством vDS доступны следующие новые возможности, которые описаны в документе "What's New in VMware vSphere 5.0 Networking":

• Поддержка Netflow версии 5 - возможность просмотра трафика между виртуальными машинами (ВМ-ВМ на одном или разных хостах, а также ВМ-физический сервер) посредством сторонних продуктов, поддерживающих Netflow.
• Поддержка зеркалирования портов Switch Port Analyzer (аналог технологии SPAN в коммутаторах Cisco) - возможность дублировать трафик виртуальной машины (а также VMkernel и физических адаптеров) на целевую машину (Port Mirroring), которая может реализовывать функционал системы обнаружения или предотвращения вторжений (IDS/IPS).
• Поддержка открытого стандарта Link Layer Discovery Protocol (LLDP, в реализации 802.1AB) - это механизм обнаружения соседних сетевых устройств и сбора информации о них для решения различных проблем сетевыми администраторами. Ранее поддерживался только протокол CDP (Cisco Discovery Protocol), поддержка которого есть не во всех устройствах.
• Улучшения механизма Network I/O Control - пулы ресурсов для сетевого трафика и поддержка стандарта 802.1q. Опредлеямые пользователем пулы для различных типов трафика позволяют приоритезировать и ограничивать пропускную способность канала для них посредством механизма shares и limits.

Сегодня мы рассмотрим поддержку открытого стандарта Link Layer Discovery Protocol (LLDP) (то есть, вендоронезависимого), который позволяет обнаруживать соседние с серверами ESXi коммутаторы и собирать о них информацию для последующего анализа.

Ранее можно было использовать только протокол CDP (Cisco Discovery Protocol), что сужало применение данной возможности. Теперь в настройках vDS у нас есть выбор LLDP или CDP:

По умолчанию, при создании распределенного коммутатора vDS, включен протокол CDP, поэтому для включения LLDP его надо переопределить в настройках. В поле Operation есть три режима работы:

• Listen - ESXi обнаруживают и отображают информацию о непосредственно подключенном физическом коммутаторе, но информация о самом vDS не предоставляется администратору физического коммутатора.
• Advertise - ESXi, наоборот, рассказывают о vDS физическому коммутатору, но не собирают информацию о нем.
• Both - обе предыдущих опции: vDS и физический коммутатор получают информацию друг о друге.

Чтобы посмотреть статистику, собранную с помощью LLDP, нужно нажать на синюю иконку с информацией для выбранного dvSwitch:

Эта информация позволяет проследить физическую коммутацию кабелей с хоста ESXi на порты физического коммутатора, без необходимости идти в серверную и смотреть, как там все подключено.

Источник: http://rickardnobel.se/archives/644.

Иногда для целей тестирования какой-нибудь из технологий высокой доступности VMware (например, Fault Tolerance или HA) хочется сделать что-нибудь плохое с хост-сервером ESXi, чтобы посмотреть, как он эту ситуацию обработает. Самый простой вариант - это перезагрузить хост, ну а можно еще вывести его в искусственный PSOD (Purple Screen of Death) - по аналогии с синим экраном смерти в Windows. При этом будет создан также Kernel Dump, который вы можете поизучать.

Вызвать ситуацию Kernel Panic и PSOD на хосте ESXi можно простой командой, зайдя на него по SSH или в DCUI:

# vsish -e set /reliability/crashMe/Panic 1

Результат:

После перезагрузки хоста с ним все будет нормально.

С 21 по 24 мая проводилась конференция EMC World 2012, где одной из главных тем были, конечно же, решения по защите данных и балансировки нагрузки между географически распределенными датацентрами. Прежде всего были анонсированы решения EMC VPLEX 5.1 и RecoverPoint 3.5:

По-прежнему, SRA-адаптера для совместного решения VMware SRM+VPLEX до сих пор нет, потому как, похоже, нет окончательной ясности, нужен ли SRM, когда есть VPLEX Metro с синхронизированными томами между датацентрами и "растянутый кластер" VMware vMSC (vSphere Metro Storage Cluster) между хостами датацентров. Безусловно, сотрудники EMC говорят, что решения взаимодополняющие (т.к. SRM - это план восстановления после сбоев, а не схема катастрофоустойчивости), но пока SRM предлагается использовать только в схеме с решением для защиты данных EMC RecoverPoint, для которого SRA-адаптер уже есть:

На эту тему появился отдельный документ "Improving VMware Disaster Recovery with EMC RecoverPoint".

Появилась также поддержка разнесенных active/active кластеров Oracle RAC в EMC VPLEX:

С точки зрения vSphere Metro Storage Cluster также появилась пара интересных новостей. Во-первых, документ "VMware vSphere Metro Storage Cluster Case Study", описываещий различные сценарии отказов в растянутом кластере высокой доступности (vMSC), построенном между двумя географически разнесенными площадками:

Также напомним про документ "Stretched Clusters and VMware vCenter Site Recovery Manager", который поможет понять, в каких ситуациях пригодится растянутый кластер, а когда без SRM не обойтись.

Во-вторых, к программе сертификации  vSphere Metro Storage Cluster program присоединилась HP Lefthand:

Более подробно об этом можно прочитать в KB 2020097 или в документе "Implementing VMware vSphere Metro Storage Cluster with HP LeftHand Multi-Site storage". В HCL компании VMware решение HP Lefthand появилось в категории "iSCSI vSphere Metro Cluster Storage".

Ну и для тех, кому интересно, о чем еще говорили на EMC World, можно почитать тут и тут.

В последнее время становится все больше и больше компаний, предоставляющих сервисы аренды виртуальных машин в облачной инфраструктуре на платформе VMware vSphere. Между тем, защищенности таких инфраструктур и их соответствию стандартам безопасности (особенно российским), как правило, уделяется мало внимания. Сегодня мы поговорим о том, что можно сделать с помощью продукта vGate R2 для защиты виртуальных сред в датацентрах провайдеров, предоставляющих виртуальные машины VMware в аренду.

Мы уже писали о новых возможностях VMware View 5.1 и новых клиентах, а сегодня поговорим о производительности этого решения для виртуализации настольных ПК предприятия. Прежде всего, напомним 2 основных документа, откуда можно узнать о том, какие техники использует VMware View и в каких моментах превосходит Citrix XenDesktop:

• VMware View 5 Performance and Best Practices - тут о самих механизмах оптимизации PCoIP
• Desktop Virtualization with VMware View 5 Compared to Citrix XenDesktop 5.5 - тут исследование (утвержденное компанией VMware) о сравнении View с Citrix XenDesktop.

Приведем также некоторые ссылки на статьи, где мы уже писали о техниках оптимизации протокола PCoIP в VMware View:

• Кэширование в VMware View: CBRC и Client Side Caching - кэширование блоков на чтение на стороне хостов ESXi, а также на стороне клиентов
• Оптимизация протокола PCoIP в VMware View 5 - 4 простых способа - как настроить PCoIP под имеющийся канал
• Конфигурация настроек протокола PCoIP для ПК VMware View 5 из графического интерфейса
• Включение и отключение Build to Loseless (BTL) в VMware View 5 при доступе через LAN/WAN
• Тест на производительность: сравнение PCoIP в VMware View 5 и View 4.6 - очень весомый скачок в производительности PCoIP в пятой версии View

Теперь VMware View 5.1 идет еще дальше по сравнению с версией 5.0:

1. Появилась функция VMware View Storage Accelerator

Этот механизм позволяет использовать оперативную память сервера для кэширования наиболее часто используемых блоков данных виртуальных ПК, запрашиваемых с конечного устройства. Делается это средствами технологии Content Based Read Cache (CBRC), поддержка которой уже имеется в VMware vSphere 5.0. Эта штука, само собой, положительно влияет на скорость обмена данными с конечными устройствами и производительность операций ввода-вывода для виртуальных ПК, поскольку блоки запрашиваются напрямую из памяти хост-сервера:

Этот тест проводился для 50 виртуальных ПК с гостевой ОС Windows 7 и были достигнуты следующие результаты (по сравнению с ситуацией, когда CBRC отключен):

• Увеличение до 80% пиковых IOPS
• Увеличение на 45% средних IOPS
• Увеличение пиковой скорости обмена с ПК до 65%
• Увеличение средней скорости обмена с ПК на 25%

2. Оптимизация клиентов VMware View 5.1

Со стороны клиентов, компания VMware внесла множество улучшений, большинство которых сделано для увеличения производительности воспроизведения видео. По сравнению с версией View 5.0, клиенты View 5.1 дают следующий прирост в плане видео:

При этом отметим, что улучшения были сделаны как для x86, так и для ARM-клиентов.

3. Улучшения коммуникации клиент-сервер в View 5.1.

В механизмах коммуникации клиента VMware View 5.1 с виртуальной машиной на сервере было сделано множество умных и полезных улучшений, сводящихся к тому, что клиент чаще и быстрее взаимодействует с виртуальным ПК, что приводит к приросту производительности операций перетаскивания объектов (и гладкости их прорисовки), а также скроллинга. Вот, например, как отличается прорисовка кривых по протоколам PCoIP (View 5.1) и RDP:

Для тех, кто интересуется тем, как именно это делается, есть специальная техническая статья "Comprehensive User Experience Monitoring" от инженеров VMware.

В общем, если и раньше были объективные причины предлагать клиентам Citrix XenDesktop по причине высокой производительности протокола Citrix HDX, то теперь их практически не осталось. С каждой новой версией видно, что VMware инвестирует в PCoIP, а XenDesktop просто стоит дороже.

Как известно, в VMware vSphere 5 появилось несколько полезных нововведений, касающихся сетевого взаимодействия, доступных в распределенном коммутаторе VMware vSphere Distributed Switch (vDS), которые облегчают жизнь сетевым администраторам. В частности, посредством dvSwitch доступны следующие новые возможности, которые описаны в документе "What's New in VMware vSphere 5.0 Networking":

• Поддержка Netflow версии 5 - возможность просмотра трафика между виртуальными машинами (ВМ-ВМ на одном или разных хостах, а также ВМ-физический сервер) посредством сторонних продуктов, поддерживающих Netflow.
• Поддержка зеркалирования портов Switch Port Analyzer (аналог технологии SPAN в коммутаторах Cisco) - возможность дублировать трафик виртуальной машины (а также VMkernel и физических адаптеров) на целевую машину (Port Mirroring), которая может реализовывать функционал системы обнаружения или предотвращения вторжений (IDS/IPS).
• Поддержка открытого стандарта Link Layer Discovery Protocol (LLDP, в реализации 802.1AB) - это механизм обнаружения соседних сетевых устройств и сбора информации о них для решения различных проблем сетевыми администраторами. Ранее поддерживался только протокол CDP (Cisco Discovery Protocol), поддержка которого есть не во всех устройствах.
• Улучшения механизма Network I/O Control - пулы ресурсов для сетевого трафика и поддержка стандарта 802.1q. Опредлеямые пользователем пулы для различных типов трафика позволяют приоритезировать и ограничивать пропускную способность канала для них посредством механизма shares и limits.

Все эти новые возможности мы разберем в следующих заметках, а сегодня сосредоточимся на механизме Netflow и его поддержке в vSphere 5. NetFlow — сетевой протокол, предназначенный для учёта сетевого трафика, разработанный компанией Cisco Systems. Является фактическим промышленным стандартом и поддерживается не только оборудованием Cisco, но и многими другими устройствами.

Для сбора информации о трафике по протоколу NetFlow требуются следующие компоненты:

• Сенсор. Собирает статистику по проходящему через него трафику. Обычно это L3-коммутатор или маршрутизатор, хотя можно использовать и отдельно стоящие сенсоры, получающие данные путем зеркалирования порта коммутатора. В нашем случае это распределенный коммутатор vDS.
• Коллектор. Собирает получаемые от сенсора данные и помещает их в хранилище.
• Анализатор. Анализирует собранные коллектором данные и формирует пригодные для чтения человеком отчёты (часто в виде графиков).

NetFlow дает возможность сетевому администратору мониторить сетевые взаимодействия виртуальных машин для дальнейших действий по обнаружению сетевых вторжений, отслеживания соответствия конфигураций сетевых служб и анализа в целом. Кроме того, данная возможность полезна тогда, когда требуется отслеживать поток трафика от приложений внутри виртуальной машины с целью контроля производительности сети и целевого использования трафика.

Синяя линия на картинке показывает настроенный виртуальный коммутатор, который посылает данные Netflow на стороннюю машину (коллектор), которая подключена к хост-серверу VMware ESXi через физический коммутатор. Коллектор уже передает данные анализатору. Netflow может быть включен на уровне отдельной группы портов (dvPortGroup), отдельного порта или аплинка (Uplink).

Для начала настройки Netflow нужно зайти в свойства коммутатора vDS (он должен быть версии 5.0.0 или выше):

Здесь мы указываем IP-адрес коллектора, куда будут отправляться данные, его порт, а также единый IP-адрес коммутатора vDS, чтобы хосты не представлялись отдельными коммутаторами для коллектора.

Включить мониторинг Netflow можно в свойствах группы портов на vDS в разделе Monitoring:

Далее в эту группу портов включаем одну из виртуальных машин:

Теперь можно использовать один из продуктов для сбора и анализа трафика Netflow, например, Manage Engine Netflow Analyzer. Пример статистики, которую собирает этот продукт по протоколам (в данном случае большинство трафика - http):

Netflow можно использовать для различных целей мониторинга, например, в инфраструктуре VMware View, где присутствуют сотни виртуальных машин, можно сгруппировать трафик по группам и смотреть, сколько трафика выжирается видеосервисами (Youtube, к примеру), так как это может сильно влиять на производительность сети в целом:

Применений Neflow на самом деле уйма, поэтому его поддержка в VMware vSphere 5 может оказаться вам очень полезной.

На проходящих сейчас по всему миру мероприятиях VMware Partner Exchange On Tour (PEX) сотрудники VMware все больше рассказывают о возможностях новой версии платформы виртуализации серверов VMware vSphere 5.1. Во-первых, стало известно, что vSphere 5.1 будет анонсирована на предстоящем VMworld, который пройдет в Сан-Франциско с 27 по 30 августа этого года.

Во-вторых, во всяких твиттерах появилось описание некоторых новых возможностей VMware vSphere 5.1, которые мы увидим осенью этого года, а именно:

• Поддержка технологии кластеров непрерывной доступности Fault Tolerance для виртуальных машин с несколькими виртуальными процессорами (vCPU).
• Загрузка хостов через адаптеры Fiber Channel over Ethernet (FCoE).
• Поддержка виртуализованных контроллеров домена Active Directory. Windows Server 8, который исполняется в виртуальной машине, на самом деле в курсе, что он работает в ВМ. Это означает, что создание и удаление снапшота такой машины не приведет к проблемам с AD, возникающих с номером последовательного обновления (Update Sequence Number, USN) контроллера. Ранее при восстановлении из снапшота из-за проблем с USN могла остановиться репликация данных каталога. Теперь Microsoft добавила технологию Generation ID, которая позволяет виртуальному контроллеру домена знать, последняя ли версия каталога им используется. За счет этого решаются проблемы с репликацией при откате к снапшоту, а также появляется возможность клонирования виртуальных машин с контроллерами домена. Соответственно, такую возможность и будет поддерживать vSphere 5.1.

Что касается технологии Fault Tolerance для ВМ с несколькими vCPU, то, как пишут наши коллеги на vMind.ru, эта технология будет требовать соединения 10 GigE для работы механизма "SMP Protocol", который придет на смену технологии vLockstep. При этом работать она сможет вообще без общего хранилища для виртуальных машин, которые могут быть разнесены по разным датасторам и хостам:

Безусловно, это не все новые возможности, которые следует ожидать в VMware vSphere 5.1, поэтому мы будем держать вас в курсе новых подробностей по мере их поступления.

Если вы являетесь разработчиком и администраторов скриптов PowerCLI / PowerShell для автоматизации операций в виртуальной инфраструктуре VMware vSphere, вам, наверняка, часто приходится хардкодить логин и пароль для соединения с сервером vCenter или вводить их в интерактивном режиме. Это не очень безопасно (мало ли кто увидит ваш скрипт на экране), да и вообще, не очень удобно.

Специально для этого в PowerCLI есть хранилище, называемое Credential Store, в которое можно помещать логин и пароль от сервера, с которым вы соединяетесь из скрипта.

Делается это следующим командлетом:

New-VICredentialStoreItem -Host 192.168.1.10 -User 'user' -Password 'password'

Таким образом для этого хоста вы помещаете креды "user" с паролем "password" в шифрованное хранилище Credential Store, которое находится в следующем файле:

%APPDATA%\VMware\credstore\vicredentials.xml

Теперь при соединении с vCenter из скрипта, просто пишете:

Connect-VIServer 192.168.1.10

В этом случае, при отсутствии указания логина и пароля, PowerCLI заглядывает в хранилище и смотрит, нет ли там кредов для этого хоста, и если они есть, то подставляет их. Все просто.

Чтобы посмотреть креды из хранилища, нужно просто вызвать следующий командлет:

Get-VICredentialStoreItem -User 'user' -Host 192.168.1.10 -File 'credentials.xml'

Ну а для удаления кредов пишем вот так (для удаления всех логинов и паролей от хоста):

Remove-VICredentialStoreItem -Host 192.168.1.10 -Confirm

Или так для удаления кредов указанного пользователя в подсети хостов:

Remove-VICredentialStoreItem -User 'admin' -Host '192.168.*' -File 'credentials.xml' -Confirm

Такой способ хранения логинов и паролей для скриптов действует для конкретного пользователя, так как они хранятся в Credential Store в зашифрованном виде и могут быть расшифрованы только под ним. То есть, если злоумышленник украдет виртуальную машину с этими скриптами, но не сможет залогиниться под этим пользователем, получить эти пароли он не сможет, при условии использования Windows file encryption (EFS) для файла хранилища.

Есть также и альтернативный метод хранения кредов для скриптов в произвольном файле.

Интересная штука обнаружилась среди средств управления и мониторинга инфраструктуры VMware vSphere - Cloud Resource Meter от компании 6fusion, которая специализируется на утилитах для облачных сред. Это такая штука, которая реализована в виде виртуального модуля (Virtual Appliance), позволяющая оценить облачную инфраструктуру vSphere "в попугаях", то есть в специальных единицах Workload Allocation Cube (WAC), потребляемых за час. Убеждают, что алгоритм этого WAC - не хухры-мухры, а patent pending.

Этот WAC - это шестимерная сущность, представляющая собой эталонную совокупность ресурсов, потребляемых виртуальной машиной в облаке, а именно:

Вот в количестве таких шестигранных кубиков вы и увидите каждую из виртуальных машин своего (или провайдерского) датацентра в реальном времени. Предполагается, что такая модель позволит наиболее адекватно обсчитать вычислительные мощности своего ЦОД (chargeback), вести учет и планировать вычислительные мощности. Облачные провайдеры и менеджеры корпоративных датацентров могут устанавливать параметры и цену такого "вака", что позволит понимать, сколько ресурсов есть в наличии и сколько будет стоить разместить то или иное приложение в облаке.

Для каждой машины ведется исторический учет потребляемых "вакочасов":

Авторы этой программулины утверждают, что алгоритм этих "ваков" был разработан еще в 2004 году для профилирования приложений под ESX 1.0, так что может стоит и посмотреть, что они с тех пор сделали, тем более, что есть бесплатная версия продукта Cloud Resource Meter. На данный момент он, правда, находится в бете, но поддерживает vSphere 4.1 и 5.0.